Viễn là em trai của Trụ quốc đại tướng quân Lý Hiền nhà Bắc Chu, anh trai của Thái sư Lý Mục nhà Tùy.

Viễn từ nhỏ đã có độ lượng, chí lớn; thường cùng bọn trẻ con chơi trò đánh trận giả, chỉ huy rất có phép tắc. Quận thú trông thấy lấy làm lạ, gọi đến để diễn lại cho ông ta xem. Bọn trẻ con tan chạy, Viễn cầm gậy quát mắng, tập hợp bọn chúng trở lại đội ngũ, khí thế hùng tráng, còn hơn khi trước. Quận thú nói: “Đứa nhỏ này ắt làm tướng soái, không phải người thường đâu!”

Đến lúc trưởng thành, Viễn đọc khắp thư truyện, nhưng chỉ ghi nhớ những điều thú vị mà thôi!